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摘 要 : 材料 视觉 感知 是 智能 机 器 人 与 环境 交互 的 重要 前 提 , 同时 也 是 计算 机 视觉 领域 的 基本 课题 。 与 物体 识别 不 同 ， 
由 于 材料 外 在 表现 形式 的 多 变性 ， 使 得 材料 视觉 感知 成 为 计算 机 视觉 领域 近 些 年 来 的 一 个 新 挑战 。 针 对 计算 机 视觉 的 
材料 感知 问题 ， 综 述 了 国内 外 的 主要 研究 成 果 ， 介 绍 这 些 研 究 的 主要 方法 及 其 典型 算法 和 基本 思想 ， 归 纳 出 材料 视觉 
感知 的 两 种 主要 研究 方法 : 材料 识别 和 分 类 ; 材料 属性 及 其 参数 估计 。 最 后 ， 提 出 目前 研究 所 存在 的 关键 问题 ， 并 指 
出 材料 视觉 感知 的 未 来 可 能 发 展 方向 。 
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Abstract: Material visual perception is an important premise for intelligent robots to interact with the environment, and it is 
also a basic subject in the field of computer vision. Unlike object recognition, material perception has become a new challenge 
for computer vision in recent years due to a variety of material surface formations. This paper provided a brief review on material 
perception based on computer vision, including the key methodologies and basic algorithms. Two frameworks for visual 
perception of materials are summarized: 1. Material recognition and classification; 2. Estimation of material properties and 
parameters. Finally, several major issues existing in the current research are illustrated, and further researches on visual 
perception of materials are provided. 
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对 材料 视觉 感知 技术 的 研究 有 着 非常 重要 的 意义 。 操 作 

标 物 体 时 ,机 器 人 系统 需要 根据 目标 物体 的 重量 、 表 面 粗糙 度 、 

每 个 物体 都 是 由 某 种 或 多 种 材料 组 成 ， 仅 通过 扫 视 一 眼 人 柔软 度 等 物理 属性 进行 自 适应 抓 取 马 3; 机 器 人 导航 过 程 中 判别 
们 就 能 够 很 好 地 了 解 它 的 组 成 材料 。 人 们 能 轻易 地 判 San 道路 是 否 光 滑 、 生 产 过 程 中 判断 食物 和 水 果 是 否 新 鲜 等 。 通 

的 桌子 是 否 是 木材 、 电 脑 是 否 是 金属 材质 、 地 秩 柔软 的 材料 视觉 感知 技术 ， 从 而 让 机 器 人 能 像 人 一 样 感知 周围 环境 并 

纤维 做 成 ， 这 种 识别 和 区 分 材料 及 其 属 怕 ma 进行 交互 ， 根 据 不 同 材 料 采 取 不 同行 动 策略 : 智能 地 避 开 刀片 

知 上 由。 人 类 对 材料 的 感知 是 通过 大 量 诸如 听觉 、 视 觉 和 触觉 等 ”或 破碎 玻璃 的 锋利 边缘 ， 而 对 衣服 的 角 线 却 不 用 那么 敏感 ， 人 

感觉 器 官 来 获得 。 而 基于 计算 机 视觉 的 材料 感知 系统 主要 是 利 。 ”人们 在 拿 取 易 碎 陶瓷 材质 的 杯子 要 比 朔 料 材质 的 更 加 小 心经 姻 等 

用 计算 机 技术 对 目标 物体 的 图 像 进行 处 理 和 分 析 , 获得 材料 的 。 等 欠 。 
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种 类 及 其 属性 的 了 解 ， 为 后 续 行 为 或 操作 提供 分 析 、 判 断 的 依 然而 ， 由 于 材料 种 类 繁多 、 颜 色 各 异 、 外 形 不 一 等 特点 
据 。 使 得 材料 视觉 感知 研究 非常 具有 挑战 性 ,近年 来 ,来 自 计 算 机 、 
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录用 稿 AE, 4i 基于 计算 机 视觉 的 材料 感知 技术 综述 
心理 学 、 生 物 学 ， 乃 至 认 知 学 方面 的 研究 人 员 一 直 都 在 努力 探 低级 图 像 处 理 指 的 是 提取 图 像 的 局 部 特征 ， 如 提取 不 同方 
索 使 计算 机 视觉 能 够 智能 感知 材料 的 类 别 和 属性 。 日 本 电报 电 向 的 灰 度 统计 、 空 间 频 率 、 颜 色 等 特征 。 这 个 阶段 主要 描述 图 
话 公 司 (NTT) 通 信 科 技 实验 室 联 合 美国 麻 省 理工 学 院 (MIT) 的 片 本 身 的 信息 ， 没 有 描述 图 片 所 蕴涵 真实 世界 的 物理 意义 。 然 


大 脑 认识 科学 (BCS) 和 计算 机 科学 人 工 智能 实验 室 (CSAIL)， 后 根据 特征 之 间 的 关系 进行 分 组 处 理 ， 在 大 邻 域 中 进行 池 化 和 
通过 计算 机 视觉 研究 物体 的 光照 灰 度 统计 图 和 子 带 滤波 器 输出 比较， 以 创建 更 加 复杂 〈 通 常 是 非 线性 ) 的 响应 。 在 这 个 处 理 
的 偏 移 来 判断 材料 表面 属性 , 如 光泽 度 和 反射 率 中 。 自 此 , 很 多 阶段 ， 视 觉 系统 能 够 识别 像 角 沙 、 纹 理 渐变 、 虐 幻 轮廓 等 复合 
研究 开始 针对 材料 的 属性 估计 ， 如 光泽 度 6-I0、 透 明度 m-49 和 特征。 这 些 特征 虽然 没有 语义 信息 ， 但 相对 于 直线 和 条 纹 等 简 
表面 粗糙 度 0s-20。Sharan 通 过 实验 表明 人 类 能 从 物体 的 图 片 。” 单 的 图 像 信息 ， 它 能 描述 更 为 丰富 的 图 像 信息 。 从 这 里 开始 ， 
中 识别 物体 的 材料 种 类 , 并 在 综合 利用 图 片 中 的 多 方面 信息 后 ， 。 逐渐 进入 到 中 级 视觉 处 理 阶段 。 在 这 个 阶段 ， 将 前 期 的 输出 响 
其 识别 准确 率 显著 提高 .但 是 人 关 视 觉 系统 在 材料 识别 过 程 中 ， 应 进行 池 化 、 分 组 并 比较 ， 以 便 视觉 系统 可 以 开始 制定 远 端 场 
究竟 利用 了 什么 样 的 信息 ， 至 今 仍然 不 太 清楚 四。 为 了 揭示 人 景 结构 (即将 表面 光照 强度 梯度 分 解 成 的 光照 图 和 反射 图 )。 这 
关 对 材料 视觉 感知 的 认识 规律 ， 最 近 许多 生物 视觉 专家 在 这 方 ”种 言 源 分 离 技术 对 从 描述 图 像 的 初级 特征 阶段 跨越 到 稳定 地 识 
面 进行 研究 。Okazawa 等 人 P+ 切 利 用 大 脑 腹 侧 视觉 皮层 信息 来 。” 别 材料 属性 阶段 而 言 是 必 不 可 少 的 。 中 级 视觉 阶段 终极 目标 是 
提取 物体 复杂 的 纹理 统计 ， 并 对 其 进行 一 系列 表达 。 一 些 研究 描述 表面 特性 ， 如 光泽 度 、 纹 理 、 透 明度 等 ， 甚 至 可 能 还 有 
者 利用 功能 性 磁 共 振 成 像 CEMRD 将 天 脑 早期 视觉 皮层 区 、 海 “他 物理 特性 ， 如 硬度 、 粗 糖度 或 粘度 等 。 这 样 ， 在 中 级 视觉 阶 
马 旁 回 与 材料 分 类 的 表达 之 间 联 系 起 来 ， 但 这 些 表达 模型 仍然 。 段 中 估计 出 来 的 不 同属 性 值 将 用 于 建立 表达 不 同 材料 的 高 维特 
没有 得 到 很 好 地 解决 征 空间 ， 而 每 种 材料 可 以 表示 为 该 特征 空间 中 的 一 个 点 。 其 具 
事实 上 ， 人 类 在 物体 识别 和 材料 视觉 感知 方面 的 能 力 相差 体 过 程 如 下 ， 对 给 定 的 材料 图 像 块 都 具有 无 光泽 反射 率 、 镜 
无 几 。 然 而 在 计算 机 视觉 研究 领域 ， 不 管 是 从 识别 正确 率 还 是 。 反射 率 、 不 透明 度 等 一 系列 的 估计 值 ， 每 一 个 估计 值 表示 为 高 
从 研究 文献 数量 相 比较 ， 材 料 视觉 感知 方面 的 研究 都 远 远 沙 后 。 维 空间 中 的 一 个 维度 。 整 个 过 程 为 高 级 视觉 提供 了 基础 ， 即 根 
于 物体 识别 Ps-2。 相 对 于 物体 识别 、 人 脸 识别 和 场景 识别 ， 材 “” 据 它 们 在 高 维特 征 空间 中 的 位 置 ， 将 不 同 材料 样本 聚 类 。 高 层 
料 视觉 感知 的 研究 正 处 于 初始 阶段 ?9， 研 究 人 员 仍 只 是 用 常规 次 视觉 的 目标 就 是 组 织 并 理解 远 端 激励 之 间 的 关系 ， 从 而 达到 
的 方法 应 用 于 材料 视觉 感知 。 如 何 针对 材料 本 身 特点 ， 提 出 一 识别 材料 并 提取 其 相关 的 语义 信息 。 
种 新 颖 而 且 有 效 的 方法 来 提取 材料 的 鲁 棒 性 特征 ， 仍 是 一 个 非 un 
常 新 颖 而 具 挑战 性 的 课题 。 20 材料 视觉 感知 研究 现状 
昌 前 国内 还 没有 材料 视觉 感知 相关 的 综述 。 本 文 首先 介绍 根据 研究 方向 的 不 同 ， 可 以 将 材料 视觉 感知 研究 方法 分 为 
材料 视觉 感知 系统 及 其 流程 ， 其 次 根据 研究 方向 不 同 ， 从 材料 。 “两 大 类 : 材料 识别 和 分 类 ; 材料 属性 和 参数 估计 。 材 料 识别 
识别 和 分 类 .材料 属性 和 参数 估计 两 个 方向 综述 目前 研究 成 果 ， 和 分 类 是 自 上 而 下 即 利用 目标 识别 方法 识别 材料 后 推断 其 属性 
最 后 提出 在 材料 视觉 感知 方面 研究 存在 的 关键 问题 ， 并 指出 未 。“ 和 参数 。 例 如 ， 当 人 们 识别 出 目标 物体 为 玻璃 杯 时 ， 可 以 推断 
来 可 能 的 发 展 方向 。 出 它 的 透明 度 、 硬 度 、 粗 糖度 竺 信息。 相反， 材料 属性 和 参数 
— 估计 是 自 下 而 上 即 利用 中 级 图 像 处 理 得 到 材料 属性 和 参数 后 再 
V SRE a 进行 材料 的 识别 ， 如 利用 透明 度 、 硬 度 、 粗 烽 度 等 属性 信息 来 
在 计算 机 视觉 系统 结构 中 ， 一 般 处 理 流程 为 ， 图 像 获 取 到 识别 目标 是 否 为 玻璃 ， 如 图 2 所 示 。 这 两 种 方法 并 不 是 相互 排 
图 像 处 理 再 到 图 像 识别 。 而 材料 视觉 感知 系统 的 流程 与 上 述 基 。 斥 的 ， 而 是 相互 促进 。 每 个 材料 属性 或 者 参数 都 代表 着 目标 物 
本 一 致 ， 不 同 的 是 将 图 像 处 理 分 为 低级 图 像 处 理 、 中 级 图 像 处 — 体 在 高 维特 征 空间 的 某 一 维 信息 ， 反 过 来 ， 材 料 的 类 别 又 有 助 
FB (估计 材料 属性 ) 和 高 级 图 像 处 理 (高 级 特征 空间 )， 如 图 d E 昕 出 材料 属性 或 者 参数 D1。 
所 示 。 图 像 获取 
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图 1 材料 视觉 感知 系统 流程 图 2 两 种 材料 视觉 感知 研究 方法 的 相互 关系 
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录用 稿 


2.1 


人 们 很 自然 想 


体 识别 问题 ， 


成 ， 椅 子 材质 常 
标 检测 ， 这 样 很 容易 就 能 
目标 识别 、 场 景 识别 
题 。 物 体 种 类 与 材料 种 类 之 间 
3 所 示 ; 同一 种 物体 可 以 用 


用 现 有 的 


品 ， 如 图 
物体 可 以 用 
识别 ， 要 在 图 


H 


进行 识别 分 类 。 将 材料 视觉 感 


材料 识别 和 分 类 
材料 视觉 感知 的 主要 功能 之 


就 是 对 其 进行 识别 和 分 类 。 
目标 识别 、 场 景 识 别 的 方法 对 材料 
知 归纳 为 目前 已 经 比较 成 熟 的 物 
啡 杯 常用 陶瓷 制作 ， 汽 车 用 金属 和 玻璃 做 
常 为 木材 。 用 目标 识别 的 方法 在 图 片 中 进行 目 
断 出 目标 物体 的 材质 种 类 。 然 而 采 
的 方法 对 材料 进行 识别 也 存在 问 
不 是 一 一 映射 ， 尤 其 是 人 造 产 
不 同 材料 做 成 ， 同 时 不 同 
一 种 材料 做 成 ， 如 图 4 所 示 。 不 同 于 物体 和 场景 
像 中 找到 可 靠 识 别 材料 的 特征 是 非常 困难 。 


HI Fl} 


用 现 有 的 


比如 号 
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尽管 
人 类 Ps8.29]。 
EAR, 
是 因为 缺少 训 


目前 
但 
有 研 


在 目标 识别 方面 ， 计 算 机 视觉 的 识别 成 功率 超越 
是 在 材料 识别 方面 ， 计 算 机 视觉 的 表现 远 远 比 不 
究 者 认为 ， 材 料 识 别 落后 于 物体 识别 的 原因 或 许 
FAR EC, R1 为 近 些 年 研究 者 们 创建 用 于 


材料 识别 的 数据 库 。CUReT 和 KTH-TIPS 这 两 个 数据 库 主要 用 


于 材料 属性 和 参数 估计 。 最 初 ， 一 些 研 究 者 们 采 | 
(如 颜色 、 
系统 ，Sharan 等 
材料 ， 每 种 材料 包含 100 张 图 
Database(FMD)。 这 个 数据 库 成 为 人 类 和 计算 机 识别 材料 的 经 : 


des 
寺 征 


人 工 选 取 的 
sit 等 ) 提供 给 标准 分 类 器 ， 基 于 这 种 材料 识别 
Ag AUS ODE] E RAE 1 000 张 图 片 ( 组 成 10 种 
片 )， 建 立 Flickr Material 


数据 库 。 


志愿 者 参与 实验 ，Sharan 及 其 同事 发 现 ， 人 类 可 


以 在 短 短 的 40 ms 的 时 间 内 从 假 材 料 中 精确 地 识别 出 真实 材料 


Bl 33。 根 据 人 类 材料 识别 经 验 ,， Sharan 等 
人 类 在 材料 识别 过 程 中 运用 
给 SVM 分 类 器 ， 识 别 正 确 率 达 到 57%. 


数据 库 ， 在 贝 
强 LDA 模型 。 
器 达到 53.1%。 


Schwartz & 
48.9% HE 


确 率 。 


等 人 DB7， 38] 结 合 无 监 VA: A 督学 


等 人 [4 在 图 片 中 提取 出 
到 的 低级 和 中 级 视觉 特征 ， 并 提供 
Liu 等 人 B51 利用 

叶 斯 框架 下 结合 图 片 的 低级 和 中 级 特征 ， 提 出 增 
实验 识别 率 达 到 46%。BadamiB9 通 过 SVM 分 类 
接着 更 多 的 模型 趋向 采用 CNN 自动 提取 特征 ， 

习 和 手工 选取 的 特征 ， 达 到 
只 别 中 ImageNetB9] 那 样 的 带 有 


为 了 弥补 像 物体 计 


标签 图 片 的 数据 库 缺 失 ，Wieschollek 等 人 [4 建立 谷歌 材料 数 


据 库 (GMD), 


验 ， 


识别 率 分 别 达到 74% 和 64%。 
立 了 自然 环境 下 的 材料 数据 库 ， 该 数据 库 由 含有 3 百 万 张 手 工 
标记 区 图 片 组 成 23 种 材料 。 训 无 疑问 , 随 着 材料 识别 数据 库 的 


并 用 迁移 学 习 法 在 GMD 和 FMD 数据 库 进 行 实 
Bell 等 人 1 利用 众 包 技术 建 


建立 并 完善 ， 必 将 促进 材料 视觉 感知 的 发 展 。 
表 1 材料 识别 数据 库 

数据 库 创建 者 创建 时 间 图 片 数 量 / 张 ”材料 种 类 
CUReT Dana 1999 12505 61 
KTH-TIPS Hayman 2004 810 10 
FMD Sharan 2009 1000 10 
MINC Bell 2015 3000000 23 
GMD Wieschollek 2016 10000 10 
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图 3 材料 


图 4 同 种 材料 


2.2 材料 属性 和 参数 估计 
等 人 P7 洲 请 一 些 


Fleming 


九 种 属性 的 
进行 材料 识别 ， 


志愿 者 ， 


判断 正确 率 高 达 90%。 


各 异 的 杯子 


的 不 同 外 在 表现 


有 助 于 材料 识别 的 


FE fft Hb, 


这 表明 图 片 可 以 用 来 ; 
同时 材料 属性 与 材料 种 类 密切 相关 。 采 用 分 类 


E: 基于 计算 机 视觉 的 材料 感知 技 


在 FMD 数据 库 的 子 集 
上 进行 实验 , 这些 志 愿 者 既 没 有 明确 地 告诉 图 片 来 自 不 同 
也 没有 要 求 对 这 些 材料 进行 归 类 ， 但 他 们 对 


类 别 ， 


识别 的 方法 对 材料 进行 分 门 别 类 〈 木 材 、 皮 革 、 玻 璃 、 塑 料 等 ) 


不 能 体现 出 人 类 对 材料 丰富 的 主观 感受 


将 图 像 赋予 相应 的 边界 和 标签 ， 


。 计 算 机 模式 识别 技术 


这 使 得 它们 忽略 了 材料 大 部 分 


感 观 [26], 


PEA JR 


然而 正 是 这 些 感 观 特征 
弥 足 珍贵 和 与 众 不 同 。 人 类 对 材料 的 视觉 感知 
生 和 参数 的 感知 (反射 率 、 刚 度 、 
之 为 材料 属性 和 参数 估计 。 材 料 属 


类 : a) 材 料 的 光学 属性 估计 , 如 


光泽 度 、 透 明度 等 ，b) 材 料 的 机 械 


2.2.1 材料 的 光学 属性 估计 
当 光 线 照射 到 物体 表 耳 


Vi ADM UM 
CBRDF ) 进行 


X. 43]. 


H 不 同 的 光学 属 
E 可 以 用 双向 反射 分 布 函数 
该 分 布 函数 描述 入 射 光 线 经 过 


才 使 得 不 同 的 材料 显得 诱 人 、 
E 是 对 物体 的 某 
透明 度 )， 将 其 称 
性 和 参数 估计 大 致 可 分 为 两 
前 研究 比较 多 的 表面 反射 率 、 
能 ， 如 粘度 、 弹 性 等 。 


j， 光 线 可 能 被 吸收 ， 可 能 被 反射 ， 
可 能 被 透射 。 这 样 不 同 的 物体 ， 就 表现 
光线 传播 特 和 


AVE 。 


过 发 射 


后 的 反射 光线 在 各 个 角度 的 分 布 情况 ， 如 图 5 所 示 。BRDF E 


dL,(v) 
dE(I) 


1 是 入 射 光 方向 ; 


Jue 


其 中 : 


=> f(0.9,0.9,)7 


dLy(9,59,) 


dE(0,,9,) 


(1) 


v 是 观察 方向 ，dL(Y) 是 表面 反射 到 v 
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录用 稿 


方向 的 反射 光 的 微分 辐射 率 ; dE) 是 表面 上 来 自 入 射 光 方向 1 


的 微分 辐 照 度 。 双 向 反射 分 布 函数 原始 模型 具有 较 多 的 变量 ， 
含有 部 分 变量 的 近似 解析 模型 来 替代 


D dd 


"mm 


实际 处 理 过 程 中 ， 
原始 模型 7。 
目前 ， 对 材料 光学 属性 的 研 


究 主要 集中 在 表面 反射 率 的 感 


知 [8s-50。 表 面 反射 率 感知 就 是 从 


中 未 知 参数 的 过 程 。 然 而 人 类 到 底 挫 


少 参数 目前 仍然 不 清楚 。 


照片 中 估计 双向 反射 分 布 函数 
断 出 哪些 参数 、 利 用 了 多 


目前 ， 大 多 数 研究 工作 只 考虑 那些 简 


]m. 
Tos 
P 


片 信息 ， 最 近 一 些 研 究 正 考虑 更 能 表达 真实 世界 的 图 片 信 


息 。 真 实物 体 的 图 片 G 了 2 弹 和 用 图 像 软 件 合成 的 图 片 芭 ?12734539 


被 用 来 识别 真 
似 于 光照 灰 度 图 的 形状 等 图 片 信 
率 有 着 密切 的 关系 5e 2。 


实 材 料 。Nishida、Shinya 以 及 其 他 研究 者 表明 类 


息 与 漫 反射 和 镜面 反射 的 反射 


大 多 数 双向 反射 分 布 函数 (BRDF ) 解析 模型 被 分 解 为 漫 反 


射 (图 6 aD 和 镜面 反射 (图 6(b)) 两 部 分 ， 并 利 
制 这 两 者 的 相对 比例 。 漫 反射 和 镜面 发 射 的 线性 组 合 能 够 粗略 


4 


计 一 系列 光泽 度 不 同 的 材料 ， 


仍然 有 部 分 材料 (丝绒 等 ), 不 能 


123 


如 朔 料 、 金 属 和 油漆 等 。 但 是 
够 用 这 个 模型 进行 表达 。 一 般 


来 说 表面 反射 率 估计 本 质 上 就 是 对 光泽 度 的 研究 S51。 最 近 ， 很 


多 有 关 光 泽 度 的 下 


究 主要 集中 在 


测量 光泽 度 的 不 变性 ; 
D] (如 通过 表面 光照 强度 梯度 特 


泽 度 感知 是 空间 分 布 不 一 致 的 ， 
响 。 对 于 像 玉 


和 瓷器 这 样 的 半 透 明 材料 来 说 , 类 似 镜面 高 光 、 


以 下 几 个 方面 : a) 改 变 以 下 条 


件 : 光照 的 改变 ms I、 外 形 的 改变 & 了 双开 到 、 颜 色 的 改变 59， 
b) 研 究 引起 表面 光照 强度 梯度 变化 的 原 


点 来 区 别 表面 的 划 痕 、 无 光泽 


阴影 和 镜面 高 亮 部 分 ); c) 寻 找 材料 视觉 感知 成 功 和 失败 的 视觉 
{8 AU, 09°63), Fleming 等 人 中 认为 光照 的 本 身 特性 会 影响 表 玫 
泽 度 估计 能 力 。Berzhanskaya 等 人 [ 鸣 已 经 通过 实验 证 明 表 国 


且 它 受到 镜面 反射 亮点 的 影 


泻 染 着 色 和 背景 等 信息 对 光泽 度 估计 影响 比较 大 001。Anderson 
及 其 同事 强调 几何 外 形 对 强度 梯度 影响 1.2% 个 ， 人 类 视觉 系统 
将 物体 几何 表面 法 线 变化 编码 成 强度 变化 率 [59。 

双 反 射 分 布 函数 (BRDP) 尝 试 分 离 出 反射 率 和 材料 相关 信 


本 


息 ， 然 而 这 项 技术 没有 考虑 纹理 和 几何 外 形 的 影响 因素 。 不 同 


材料 表面 可 以 呈现 出 相同 的 反射 


率 属 性 6， 如 玻璃 、 朔 料 、 腊 


都 能 表现 出 透明 性 质 ， 如 图 7 Ca) 所 示 。 因 此 ， 材 料 表面 反射 


率 信息 不 是 材料 识别 的 必要 条 件 。 


者， 估计 BRDF 模型 和 参 


zm 


数 也 不 是 一 件 容易 的 事 。 对 图 7 
3D 外 形 或 者 材料 属性 等 简单 
BRDF 几乎 是 不 可 能 的 D.7。 


(b) 中 单 张 图 片 ， 在 没有 关于 


RiAir F67, ATE AY 


前 面具 讨论 不 透明 物体 ， 然 而 现实 生活 中 人 们 常常 遇 到 像 


JG. zK. HUE. Khu 
反射 分 布 函数 (BRDF ) 来 描述 ， 


明 物 体 。 这 些 透明 物体 不 能 够 用 双 


因为 对 透明 物体 来 说 ， 从 A 点 


入 射 的 光线 ， 会 从 其 他 点 发 射出 去 ， 如 图 8 所 示 。 透 明 物 体 的 


这 种 特性 可 以 / 


双向 表面 散射 分 布 函数 模型 进行 描述 。 


于 这 


些 物体 都 比 空气 的 光学 密度 高 , 这 将 导致 : a) 镜 


大 多 数 透 明 物 体 看 起 来 都 有 光泽 


HRI, 这 使 得 
BE; b) 折 射 ， 这 个 特性 使 透明 


物体 内 部 可 视图 呈现 碎片 或 扭曲 状 。 当 透射 光 透 射 到 物体 内 部 
时 ， 一 部 分 被 分 散 ， 部 分 被 吸收 。 散 射 使 材料 内 部 充满 光线 ， 
从 而 使 背景 图 案 无 法 看 清 ， 并 导致 材料 呈现 出 独特 的 乳白 色 、 
轻微 发 光 、 半 透明 的 外 观 ， 如 大 理 石 、 玉 石 等 。 


(a) 漫 反射 模型 
图 6 漫 反 射 模型 和 镜面 反射 模型 


(b) 镜 面 反 射 模型 


fr A SA 


E 


(b) 
AN Fe S| E BUR IDEO BS 386 Je pP 


图 7 


A hy, E wv 


透明 材料 


l 
| 
l 
l 
l 
| 
1\ 
1 XA 


图 8 ”透明 材料 的 光线 传播 

大 多 数 对 透明 材料 的 研究 把 对 象 理想 化 成 透明 过 滤 薄 片 ， 
这 样 就 可 以 忽略 折射 和 散射 效应 [3 79。 透 过 过 滤 片 观察 表面 时 ， 
所 得 到 的 图 像 块 是 背景 和 过 滤 片 颜色 的 融合 后 的 结果 。 为 了 感 
知 过 滤 片 的 本 身 回 有 颜色 和 透射 率 ， 视 觉 系 统 必 须 分 解 背景 和 
过 滤 片 的 相对 贡献 率 ， 这 一 过 程 称 为 颜色 分 离 。 然 而 现实 生活 
中 大 多 数 透明 物体 都 不 是 这 样 理想 的 透明 薄片 ， 使 得 注 过 滤 片 
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RAG SA, $: 基于 计算 机 视觉 的 材料 感知 技术 综述 


模型 不 具有 普遍 性 。 如 何 估计 这 些 透明 材料 的 属性 仍然 是 个 埋 o 密 滴 入 面包 上 ， 预 测 弹 性 球 的 轨迹 ， 或 者 警告 朋友 不 要 将 过 多 
手 的 问题 。Fleming 等 人 在 带 纹理 背景 前 模拟 玻璃 状 卵 石 , 在 物 ”的 书 放 在 架子 上 以 免 将 书架 压 震 ， 这 些 行为 表示 人 们 不 是 简单 
里 折射 率 的 变化 条 件 下 ， 使 用 最 大 似 然 差异 缩放 (MLDS) I ”地 估计 材料 的 属性 ， 而 是 预测 材料 的 未 来 状态 。 材 料 视觉 感知 
来 测量 折射 率 是 如 何 变化 。 他 们 发 现 了 一 个 非 线 性 压缩 函数 ， 的 这 方面 研究 很 少 有 人 涉及 B 7901, 或许 这 方面 要 求 比 物体 识别 
这 个 函数 与 折射 引起 的 背景 纹 扭曲 程度 具有 较 强 的 相关 性 。 具 “和 属性 估计 更 深层 次 的 表达 。 物 体 识 别 〈 确 定 场景 中 是 否 有 液 
体 而 言 ， 他 们 注意 到 ， 根 据 透明 物体 的 形状 ， 透 射 纹 理 图 案 在 “，” 体 存 在 ) 和 属性 估计 《推断 出 液体 的 粘性 ) 只 需要 判断 图 片 中 
图 像 中 出 现 压缩 或 放大 。 产 生 失 真 的 大 小 不 仅 取决 于 折射 率 ， 与 材料 相关 的 特征 。 然 而 对 于 预测 物体 未 来 的 位 置 、 形 状 、 和 

N 

体 


还 取决 于 其 他 场景 变量 ， 如 物体 的 厚度 和 背景 的 距离 3。 尽管 — 状态， 需要 某 种 内 部 模型 ， 这 种 模型 能 够 以 泛 化 和 开 环 的 方式 
没有 这 些 可 见 的 扭曲 信息 ， 人 们 也 能 轻易 地 识别 出 透明 物体 。 将 当前 的 观察 结果 转换 为 对 未 来 的 预测 。 
这 表明 在 识别 透明 物体 属性 时 ， 人 类 还 利用 其 他 的 很 多 信息 。 物体 表面 粗糙 度 估计 相对 来 说 成 熟 得 多 。 目 前 ， 国 内 外 已 
比如 ， 由 于 折射 率 的 增加 镜面 发 射 也 相应 地 增加 ， 就 可 以 根据 ”经 提出 了 不 少 表面 粗糙 度 的 测量 技术 。 根 据 其 测量 原理 不 同 瑟 
光泽 度 来 判断 折射 率 [ 引 。 为 了 研究 透明 度 的 视觉 信息 ， 分 为 基于 光学 干涉 原理 路 、 散 射 原理 器 、 散 斑 原 理 的 测 
Fleming 和 Bülthoff 通过 演 染 材料 , 使 得 它 具 有 参数 变化 的 散射 ”” 量 方 法 和 基于 机 器 视觉 技术 的 测量 方法 509" 。 利 用 光学 原理 
特性 表面 。 他 们 做 了 关于 透明 材料 和 他 们 属性 的 非常 正规 的 记 ”测量 粗粮 度 的 方法 具有 较 高 的 精度 ， 但 是 该 类 方法 对 操作 环境 
录 ， 包 括 亮 度 、 对 比 度 、 强 度 梯度 的 平滑 度 、 色 彩 饱和 度 。 他 ”和 仪器 要 求 很 高 。 而 基于 机 器 视觉 技术 测量 方法 具有 测量 速度 
们 发 现 半 透 明 材 料 在 角落 和 边缘 周围 具有 特征 性 明亮 条 纹 ， 将 快 、 范 围 广 、 成 本 相对 低廉 等 优点 ， 使 得 它 越 来 越 受 到 研究 者 
这 种 局 部 明亮 的 条 纹 添 加 到 不 透明 物体 可 以 使 其 整个 外 观 变 为 。” 们 的 关注 。 
半 透 明 。 同 时 ， 他 们 也 测量 了 半 透 明度 随 照明 方向 的 变化 ， 发 

见 从 后 面 照射 的 物体 看 起 来 比 从 前 面 照 射 的 物体 更 加 透亮 ， 这 

一 发 现 被 Xiao 等 人 验证 和 推广 。 改 变 透 明 材 料 的 局 部 光照 人 们 生活 在 由 不 同 材料 组 成 的 物质 世界 里 ， 如 果 要 让 机 器 
强度 分 布 可 能 使 它们 看 起 来 更 加 不 透明 或 透明 5 各。 这 表明 ， 能 感知 丰富 多 彩 的 现实 世界 ， 就 需要 计算 机 视觉 从 物体 识别 的 
与 不 透明 材料 一 样 ， 人 类 视觉 系统 可 根据 表面 形状 引起 的 光照 。 “低级 阶段 飞跃 到 材料 视觉 智能 感知 的 高 级 阶段 。 然 而 由 于 以 下 


= 


3 ”结束 语 


强度 变化 进行 透明 度 相 关 编 码 。 然 而 与 不 透明 材料 不 同 ， 这 种 。 原因 ， 使 得 材料 视觉 感知 变 得 非常 具有 挑战 性 : 

关系 不 能 用 单一 反射 函数 来 概括 ， 即 将 物体 表面 法 向 映射 到 医 a) 材 料 种 类 繁多 、 颜色 各 异 、 外 形 不 一 等 特点 , 要 从 图 像 中 
(OC RE SR SECO. 87, Marlow 等 人 09 指 出 无 法 得 到 这 种 映射 关系 ”提取 材料 识别 的 稳定 特征 是 非常 困难 的 。 

可 能 暗示 该 表面 是 透明 的 ， 并 且 指出 表面 法 向 与 强度 之 间 映 射 b) 传 统 视 觉 识 别 方法 在 材料 识别 时 不 适用 。 现 有 的 目标 识 
的 连续 性 决定 强度 梯度 是 由 漫 反 射 阴影 还 是 透明 辉 光 引起 的 。 别 、 场 景 识别 、 纹 理 识别 等 方法 直接 应 用 于 材料 识别 时 存在 诸 


然而 许多 其 他 的 光学 现象 (如 相互 反射 、 投 射 阴影 、 表 面 纹理 ) 多 问题 ， 其 主要 原因 是 至 今 仍然 不 清楚 人 类 视觉 系统 在 材料 识 

也 能 影响 这 种 映射 关系 ， 因 此 该 发 现 对 区 别 透明 表面 有 多 大 程 。 别 过 程 中 ， 究 竞 利用 了 什么 样 的 信息 。 或 许 人 类 在 材料 视觉 感 

度 的 帮助 依然 值得 商检 。 知 时 很 有 可 能 不 只 是 简单 地 利用 单一 信息 而 是 综合 利用 图 像 的 

2.2.2 材料 机 械 性 能 估计 低级 、 中 级 、 高 级 阶段 多 种 交叉 信息 ， 这 依然 值得 研究 者 们 继 
许多 材料 《如 纺织 品 和 流体 ) 都 是 可 变形 的 ， 这 意味 着 它 。” 续 探 索 。 

们 会 根据 外 力 以 独特 的 方式 运动 或 变形 。 例 如 ， 羊 毛 或 丝绸 在 co) 用 于 材料 识别 的 数据 库 很 不 完善 。 目 前 比较 经 典 的 材料 

重力 作用 下 呈现 独特 的 形状 和 运动 特征 ， 这 些 特征 为 材料 视觉 。 识别 的 数据 库 是 由 sharan 通过 互联 网 下 载 1 000 张 10 种 材料 

感知 提供 了 丰富 信息 。 羊 毛 具 有 较 大 的 弹性 和 高 摩擦 力 ， 而 丝 ”的 图 片 。 相 对 用 于 物体 识别 数据 库 ImageNet 而 言 , 这 个 数据 库 

绸 往往 更 密集 和 更 滑 。 无 论 从 种 类 还 是 数量 都 相差 很 大 。 这 也 是 部 分 研究 者 认为 材料 
材料 的 机 械 性 能 估计 的 研究 目前 还 处 于 起 步 阶段 。 液 体 是 ”识别 落后 于 物体 识别 的 原因 之 一 Cg。 

引起 大 家 对 机 械 性 能 研究 兴趣 的 典型 材料 。Kawabe, Maruya, 综合 上 述 材 料 视觉 感知 的 困难 ， 今 后 可 能 需要 从 以 下 几 个 

Fleming， 和 Nishida 基于 单独 的 运动 信息 ， 就 可 以 推断 液体 的 。 方面 进行 探索 : 

存在 及 其 粘度 B34。 随后 ,V.C. Paulun, Kawabe, Nishida fll Fleming a) 从 解剖 学 、 生 理学 、 认 知 学 方面 研究 , 究竟 哪些 因素 对 材 

从 浇注 液体 的 静态 快照 中 推断 粘度 5]。 编 织物 是 另外 一 种 重要 ” 料 视觉 感知 至 关 重 要 。 基 于 此 ， 对 图 像 进行 指导 性 处 理 ， 综 合 


而 又 典型 的 变形 材料 。 人 类 能 够 估计 不 同 织物 的 相对 密度 和 刚 。 ”低级 、 中 级 视觉 信息 ， 提 取材 料 的 鲁 棒 性 特征 ， 为 高 维特 征 乞 
度 [ 鸣 ， 而 且 这 些 性 质 不 会 随 着 施加 在 织物 上 的 有 限 外 力 而 发 生 ， 间 表达 黄 定 基础 。 
piel, b) 研 究 新 的 适用 于 材料 视觉 感知 的 理论 方法 。 传 统 的 方法 

对 视觉 信息 进行 物理 推理 的 研究 ， 尤 其 是 人 们 对 事物 行为 ”如 分 类 、 匹 配 、 参 数 估 计 等 在 材料 识别 方面 遇 到 很 多 问题 ， 比 
的 预测 的 研究 ， 往 往 需要 丰富 的 内 部 模型 。 当 人 们 将 粘 稠 的 蜂 ”如 物体 表面 反射 率 属性 常常 与 材料 种 类 有 关 ， 不 同 材料 表面 可 


LE 


录用 稿 


n 


DAS SL ADD RE] SE SJ HE, Ke, AAA SY TE 
言 息 是 很 难 通过 视觉 感知 材料 及 其 属性 。 

9 研究 人 类 在 小 样本 数据 条 件 下 快速 的 泛 化 能 力 。 在 很 多 
情况 下 ， 人 们 只 需要 看 一 次 新 材料 就 可 以 在 新 环境 中 识别 它 ， 
将 它 与 人 们 熟悉 的 其 他 材料 相 联系 。 如 何 让 计算 机 具有 这 种 
能 力 ， 是 一 项 非常 值得 研究 的 工作 。 
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